元学习考虑了学习高效学习过程的问题，可以利用其过去的经验来准确解决新任务。然而，元学习的效果是至关重要的，这取决于可用于训练的任务的分布，并且通常认为这是已知的先验或由有限的监督数据集构建。在这项工作中，我们的目标是通过考虑从未标记的文本自动提出的自我监督任务来提供元学习的任务分布，以在NLP中启用大规模的元学习。我们通过考虑任务多样性，困难，类型，域和课程的重要方面，并调查它们如何影响元学习表现的重要方面，设计多个自我监督任务分布。我们的分析表明，所有这些因素有意义地改变任务分配，一些突起在荟萃学习模型的下游的下游显着改进。凭经验，20下游任务的结果显示出几次学习的显着改善 - 在以前的无监督的元学习方法增加到+ 4.2％的绝对精度（平均值），并与换行符的监督方法相比表现。
translated by 谷歌翻译